规模一直是改善机器学习绩效的主要驱动力，了解规模定律对于可持续模型质量绩效增长，长期资源计划和开发有效的系统基础架构以支持大规模模型的战略规划至关重要。在本文中，我们研究了DLRM样式推荐模型的经验缩放定律，特别是点击率（CTR）。我们观察到具有功率定律的模型质量尺度以及模型大小，数据大小和用于培训的计算量的常数。我们通过比较沿这些轴的不同缩放方案来表征沿三个不同资源维度的缩放效率，即数据，参数和计算。我们表明，对于正在研究的模型体系结构，参数缩放量不超出蒸汽，直到出现较高表现的模型体系结构之前，数据缩放是前进的路径。本研究解决的关键研究问题包括：建议模型规模是否可以可持续地按照规模定律预测？还是我们远离规模定律的预测？缩放的限制是什么？扩展法对长期硬件/系统开发的含义是什么？
translated by 谷歌翻译
机器学习（ML）研究通常集中在模型上，而最突出的数据集已用于日常的ML任务，而不考虑这些数据集对基本问题的广度，困难和忠诚。忽略数据集的基本重要性已引起了重大问题，该问题涉及现实世界中的数据级联以及数据集驱动标准的模型质量饱和，并阻碍了研究的增长。为了解决此问题，我们提出Dataperf，这是用于评估ML数据集和数据集工作算法的基准软件包。我们打算启用“数据棘轮”，其中培训集将有助于评估相同问题的测试集，反之亦然。这种反馈驱动的策略将产生一个良性的循环，该循环将加速以数据为中心的AI。MLCommons协会将维护Dataperf。
translated by 谷歌翻译
本文探讨了超线性增长趋势的环境影响，从整体角度来看，跨越数据，算法和系统硬件。我们通过在行业规模机器学习用例中检查模型开发周期来表征AI计算的碳足迹，同时考虑系统硬件的生命周期。进一步迈出一步，我们捕获AI计算的操作和制造碳足迹，并为硬件 - 软件设计和尺度优化的结束分析以及如何帮助降低AI的整体碳足迹。根据行业经验和经验教训，我们分享关键挑战，并在AI的许多方面上绘制了重要的发展方向。我们希望本文提出的关键信息和见解能够激发社区以环保的方式推进AI领域。
translated by 谷歌翻译